Opportunities and Risks of LLMs for Scalable Deliberation with Polis
Polis is a platform that leverages machine intelligence to scale up deliberative processes. In this paper, we explore the opportunities and risks associated with applying Large Language Models (LLMs) towards challenges with facilitating, moderating and summarizing the results of Polis engagements. In particular, we demonstrate with pilot experiments using Anthropic's Claude that LLMs can indeed augment human intelligence to help more efficiently run Polis conversations. In particular, we find that summarization capabilities enable categorically new methods with immense promise to empower the public in collective meaning-making exercises. And notably, LLM context limitations have a significant impact on insight and quality of these results. However, these opportunities come with risks. We discuss some of these risks, as well as principles and techniques for characterizing and mitigating them, and the implications for other deliberative or political systems that may employ LLMs. Finally, we conclude with several open future research directions for augmenting tools like Polis with LLMs.
(DeepL)Polisは、機械知能を活用して熟議プロセスをスケールアップするプラットフォームである。この論文では、Polisのエンゲージメントの結果を促進、司会、要約するという課題に対して、大規模言語モデル（LLM）を適用する機会とリスクを探ります。特に、AnthropicのClaudeを使用したパイロット実験により、LLMが人間の知性を補強し、Polisの会話をより効率的に実行できることを実証する。特に、要約機能によって、一般市民が集団的な意味づけを行う際に、非常に有望な新しい方法が可能になることを発見した。そして特に、LLMのコンテキストの制限は、これらの結果の洞察と質に大きな影響を与える。しかし、こうした機会にはリスクも伴う。我々は、これらのリスクのいくつか、またそれらを特徴付け、軽減するための原則とテクニック、そしてLLMを採用する可能性のある他の熟議システムや政治システムへの影響について議論する。最後に、PolisのようなツールをLLMで補強するための、いくつかのオープンな将来の研究の方向性について結論づける。 The Computational Democracy Project designs, engineers and maintains Polis, an open source, real-time system for gathering, analyzing and understanding what large groups of people think in their own words, enabled by advanced statistics and machine learning.
nishio LLMとPolisの関係についてAnthropicからも論文が出たそうで、どんどん面白くなってきました！ nishio 次のLLM meetupの段階では今やってることが話せる状態になるかならないか微妙だなー何を話そうーと思ってたけど、この論文とOpenAIの書いたものとを引用しつつ話せることを話すのでもLTとしては十分な気がするな。前回もLTでPolisに言及したことだし、それの発展という感じで。